このモジュールでは、重みベースのファインチューニングという従来のパラダイムから、 文脈内学習（ICL）動的な世界へと進みます。大規模言語モデル（LLM）が内部構造を変更せずに、プロンプトの構造を活用して複雑な潜在空間を航行することで、タスクの熟達を達成する仕組みを探ります。

1. 説明から提示へ

指示は一般的な方向性を提供しますが、「入力-出力ペア」$(x, y)$による「模倣」は非パラメトリックなガイドとして機能します。これらの例は統計的なアンカーとなり、モデルの確率分布を狭め、自然言語の指示に内在する曖昧さを低減します。

2. アテンションの仕組み

ICLは、トランスフォーマーのアテンション機構を使って「タスク誘導」を行います。提示されたシーケンス内の規則性を識別することで、モデルは高次元空間内の特定の関数的マッピングを見つけ出し、スタイルや構造を高い精度で模倣できるようになります。